python实现下载小说并保存在本地

最新推荐文章于 2024-10-11 05:20:33 发布

大个土豆

最新推荐文章于 2024-10-11 05:20:33 发布

阅读量2.3k

点赞数 1

分类专栏： python学习

本文链接：https://blog.csdn.net/pengzhi5966885/article/details/71629631

版权

python学习专栏收录该内容

35 篇文章 0 订阅

订阅专栏

下载小说并保存在本地

import bs4,os,requests



i = 0
xiaoShuo_NeiRong = []#定义存储小说章节内容对象的列表
xiaoShuo_biaoTi = []##定义存储小说章节标题对象的列表
#从小说网站上下载小说，并保存在txt文档中
while True:
    
    if i < 20:
        resOne = requests.get('http://book.zongheng.com/chapter/457720'+'/'+str(7629918+i)+'.html')#下载小说网页
        i = i+1
        #根据是否下载成功，将解析后的对象分别存储在标题和内容的列表中
        if resOne.raise_for_status():
            bs4One = bs4.BeautifulSoup(resOne.text)
            xiaoShuo_NeiRong.append(bs4One.select('div#chapterContent'))#BeautifulSoup对象调用select()查找内容，返回Tag对象的列表，并放在内容列表中
            xiaoShuo_biaoTi.append(bs4One.select('h5'))#BeautifulSoup对象调用select()查找标题，返回Tag对象的列表，并放在内容列表中

    else:
        break
#将相关内容写入文件中
for j in range(0,len(xiaoShuo_NeiRong)):
        xiaZai_two = open('C:\\Users\\Nick\\Desktop\\python\\drawing\\2\\spam002.txt','a')
        xiaZai_two.write(xiaoShuo_biaoTi[j][0].getText())
        xiaZai_two.write(xiaoShuo_NeiRong[j][0].getText())
        xiaZai_two.close()